热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

原创|大数据入门基础系列之ClouderaManager版本的Hive安装部署

添加服务,一




点击上方 "大数据躺过的坑" 关注我们











在前面的博文里,我已经介绍了

大数据躺过的坑之2017年9月份所有微信公众号干货汇总

大数据躺过的坑之2017年10月份所有微信公众号干货汇总

大数据入门基础系列之ZooKeeper是什么?

原创 | 大数据入门基础系列之ZooKeeper是什么?(补充)

原创 | 大数据入门基础系列之ZooKeeper的特点

【夜读】20多岁的尴尬,你怕不怕?

原创 | 大数据入门基础系列之ZooKeeper如何实现分布式锁

【夜读】你不优秀,可能是因为你在“假装努力”

原创 | 11月的第一个双休日,送你一首好美的歌!祝你开心,快乐,幸福!

原创 | 大数据入门基础系列之Apache版本的Zookeeper集群详细部署搭建(包括单节点、3节点、5节点)

【夜读】你在消磨时光,时光也在消磨你

原创 |【福利】Adobe Photoshop CC 2015 (32/64 Bit)功能及破解方法

在吗?我想你了!《想你的夜晚》我好孤独!你也在想我吗?

原创 | 大数据入门基础系列之CDH版本的Zookeeper集群详细部署搭建(3节点)

【夜读】慢慢变好,是给自己最好的礼物

原创 | 福利大放送:机器学习视频干货资料免费分享(100G)更新ing

原创 | 程序员该如何有效率的提升自己?

他人投稿 | 大数据入门基础系列之目前最新Apache的Zookeeper稳定版本集群详细部署搭建(3节点)(补充)

原创 | 当你垂头丧气看不清未来的时候就读一遍,夜空中最闪亮的星照耀着你

写给正在忙论文的你 |  搜集论文材料的重要性

【夜读】你不优秀,认识谁都没用

原创 | 大数据入门基础系列之浅谈ZooKeeper的数据模型

【夜读】你一无所有,你拥有一切。但,你得小心了

原创 | 大数据入门基础系列之ZooKeeper的三类角色(Leader、Follower、ObServer)

【夜读】你自己不努力改变,没有人能替你成长

大数据入门基础系列之ZooKeeper的浅谈集群间消息通信

【夜读】小时候我以为,长大后会没有烦恼……

原创 | 大数据入门基础系列之浅谈ZooKeeper的数据存储结构

原创 |  九月哥给大家发红包雨口令

原创  |“大数据躺过的坑”来啦, 这就是比“双11”更重要的活动!

【夜读】一个人,也可以活成千军万马

【夜读】今晚,重温父亲的《背影》,致远方老家的父亲

原创  |  大数据入门基础系列之浅谈ZooKeeper的架构图

【夜读】最怕你抱怨,你又不去改变

原创 | 大数据入门基础系列之浅谈ZooKeeper的读写数据

【夜读】你以为是自己输在了起跑线,其实是别人赢在了终点

原创 | 大数据入门基础系列之浅谈ZooKeeper的数据读写一致性

原创 |  九月哥:天下没有免费的午餐(大数据躺过的坑)

【夜读】真正自律的人,从不给自己找借口

原创 | 大数据入门基础系列之ZooKeeper如何处理单点故障

【夜读】生活越糟糕,你越要过得好

原创 | 大数据入门基础系列之ZooKeeper的运行模式

原创 | 大数据入门基础系列之ZooKeeper的读写机制

原创 | 大数据视频干货资料免费分享(100G)更新ing

原创 | 福利大放送:机器学习和深度学习视频干货资料免费分享(100G)更新ing

【夜读】你烦恼的根源主要在于,想得太多却做得太少

原创 | 大数据入门基础系列之ZooKeeper的Server

【夜读】从现在开始,就是最好的时间

原创 |  大数据入门基础系列之ZooKeeper如何保证服务的高可用性

原创 | 致敬曾经的我,送给2018考研的你们(最后32天)

【夜读】人和人的差距,到底是怎么拉开的

原创 | 大数据入门基础系列之详谈ZooKeeper的原子广播机制和Zab协议

【夜读】今天没有比昨天糟,就很好呀

原创 | 大数据入门基础系列之浅谈ZooKeeper的应用场景(上)

原创 | 大数据入门基础系列之浅谈ZooKeeper的应用场景(下)

原创 | 感恩节,你感恩了么?

【夜读】你不是没时间,你只是不去行动

原创 | 大数据入门基础系列之浅谈ZooKeeper的写数据流程(面试热点)

原创 | 大数据入门基础系列之详谈Hive是什么?








      陆续写出以上博文,在对hadoop集群安装,今天收到群里群外好几位朋友的留言。

目前向我咨询:

   (1)我到底如何去安装哪种版本的集群;

   (2)我的配置是怎样怎样,然后帮我参考分析等,我内存只有,是不是小了,怎么办?

   (3)我公司已经有N台机器,还想扩M台机器?

    (4)怎么样去做数据备份和迁移?

    (5)... ...


 我的回答:

    (1)如果你是大数据的初学者,以及你自己电脑条件有限(我相信,大部分人的电脑物理内存都是最大8G),为此,也是更好地去把基础和原理夯实基础,所以,建议初学的你从Apache版本的hadoop集群开始学起。

      大数据入门基础系列之Apache版本的hadoop集群详细部署搭建(包括HA和非HA)(包括单节点、3节点、5节点)



     (2)内存小了,如果你才有4G,是严重不满足大数据集群的最低配置的。除非你弄个单节点伪分布集群,但是,也是非常暂时的一个学习时间阶段,必须至少得去加内存条达到8G。

        至于如何加内存条,这里可以参考我之前给自己电脑加内存条写下的一篇博文,仅供参考,不懂的可以在本平台对应群里进行交流。(不难)

给自己电脑加内存条的一些事

http://www.cnblogs.com/zlslch/p/5830875.html


     (3)(4)关于从N台现有机器,到扩容至M台机器,我后续整理再贴出博文。目前这方面,由于在校明年6月份毕业的我,并没有来得及有其他精力来亲身做这方面的工作。

     (5)... ...



    在这里,我先说明下,有博友留言给我说,没有写出ClouderManager版本的hadoop集群搭建博文,为此,特意写出此篇博文。

      1 、最近一段时间,因担任我团队实验室的大数据环境集群真实物理机器工作,至此,本人秉持负责、认真和细心的态度,先分别在虚拟机上模拟搭建ambari(基于CentOS6.5版本)和cloudermanager(基于CentOS6.5或Ubuntu14.04版本)。

  2、大数据集群范围包括3节点和4节点。本人都尝试过。

  3、 安装搭建包括离线和在线。本人都尝试过

  4、 版本包括自定义指定和官方最新版本搭建。本人都尝试过。

  5、大数据集群节点的增加和删减。本人都尝试过。

  6、虚拟机和真实物理机上搭建。本人都尝试过。




Cloudera Manager是啥?主要是干啥的?

http://www.cnblogs.com/zlslch/p/6674972.html


CentOS6.5下Cloudera安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)

http://www.cnblogs.com/zlslch/p/6815670.html



Ubuntu14.04下Cloudera安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)(在线或离线)

http://www.cnblogs.com/zlslch/p/7076561.html




关于在真实物理机器上用cloudermanger或ambari搭建大数据集群注意事项总结、经验和感悟心得(图文详解)

http://www.cnblogs.com/zlslch/p/7093829.html









ClouderaManager版本的Hive安装部署

大数据入门基础系列之ClouderManager版本的hadoop集群详细部署搭建(1、3、4节点)(在线或离线)


        对于关于ClouderaManager版本的hive,是非常的简单,也许你刚开始在安装ClouderaManager时没有考虑到hive(比如你开始因为你的笔记本学习条件有限,就只安装了个hadoop)。然后, 你现在需要来安装并学习hive组件,其实,这都是非常简单的。添加服务,一步一步走下去就是了。








同时,大可以关注我的个人博客

   http://www.cnblogs.com/zlslch/   和  http://www.cnblogs.com/lchzls/ 



       以及对应本平台的QQ群:161156071(大数据躺过的坑)








        本文版权归大数据躺过的坑)作者和微信公众平台共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文链接,否则保留追究法律责任的权利。 如果您认为这篇文章还不错或者有所收获,您可以通过下边的“打赏”功能 打赏我一杯咖啡【物质支持】,也可以点击右下角的【点赞】按钮【精神支持】,因为这两种支持都是我继续写作,分享的最大动力!

看完本文有收获?请转发分享给更多人

关注「大数据躺过的坑」,提升大神技能






觉得不错,请点赞和留言↓



推荐阅读
  • 前言折腾了一段时间hadoop的部署管理,写下此系列博客记录一下。为了避免各位做部署这种重复性的劳动,我已经把部署的步骤写成脚本,各位只需要按着本文把脚本执行完,整个环境基本就部署 ... [详细]
  • 本文介绍了在Linux下安装和配置Kafka的方法,包括安装JDK、下载和解压Kafka、配置Kafka的参数,以及配置Kafka的日志目录、服务器IP和日志存放路径等。同时还提供了单机配置部署的方法和zookeeper地址和端口的配置。通过实操成功的案例,帮助读者快速完成Kafka的安装和配置。 ... [详细]
  • 我们在之前的文章中已经初步介绍了Cloudera。hadoop基础----hadoop实战(零)-----hadoop的平台版本选择从版本选择这篇文章中我们了解到除了hadoop官方版本外很多 ... [详细]
  • 安装hive包[CDH下载地址](http:archive.cloudera.comcdh5cdh5)1、将hive-0.13.1-cdh5.3.10.tar.gz使用WinSCP ... [详细]
  • 2018深入java目标计划及学习内容
    本文介绍了作者在2018年的深入java目标计划,包括学习计划和工作中要用到的内容。作者计划学习的内容包括kafka、zookeeper、hbase、hdoop、spark、elasticsearch、solr、spring cloud、mysql、mybatis等。其中,作者对jvm的学习有一定了解,并计划通读《jvm》一书。此外,作者还提到了《HotSpot实战》和《高性能MySQL》等书籍。 ... [详细]
  • Vagrant虚拟化工具的安装和使用教程
    本文介绍了Vagrant虚拟化工具的安装和使用教程。首先介绍了安装virtualBox和Vagrant的步骤。然后详细说明了Vagrant的安装和使用方法,包括如何检查安装是否成功。最后介绍了下载虚拟机镜像的步骤,以及Vagrant镜像网站的相关信息。 ... [详细]
  • 本文讨论了读书的目的以及学习算法的重要性,并介绍了两个算法:除法速算和约瑟夫环的数学算法。同时,通过具体的例子和推理,解释了为什么x=x+k序列中的第一个人的位置为k,以及序列2和序列3的关系。通过学习算法,可以提高思维能力和解决问题的能力。 ... [详细]
  • Jquery 跨域问题
    为什么80%的码农都做不了架构师?JQuery1.2后getJSON方法支持跨域读取json数据,原理是利用一个叫做jsonp的概念。当然 ... [详细]
  • 3年半巨亏242亿!商汤高估了深度学习,下错了棋?
    转自:新智元三年半研发开支近70亿,累计亏损242亿。AI这门生意好像越来越不好做了。近日,商汤科技已向港交所递交IPO申请。招股书显示& ... [详细]
  • Hadoop源码解析1Hadoop工程包架构解析
    1 Hadoop中各工程包依赖简述   Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。   GoogleCluster:ht ... [详细]
  • 环境配置tips
    一、MySQL在Linux下数据库名、表名、列名、别名大小写规则是这样的:  1、数据库名与表名是严格区分大小写的;  2、表的别名是严格区分大小写的& ... [详细]
  • Zookeeper 总结与面试题汇总
    Zookeeper总结与面试题汇总,Go语言社区,Golang程序员人脉社 ... [详细]
  • SpringCloud之eureka注册中心入门
    eureka注册中心一、基本概念SpringCloud封装了Netflix公司的eureka作为自己微服务的注册中心。这个注册中心和dubbo中的zookeeper很相似,简单来说 ... [详细]
  • Spark学习之路(一)Spark概述
    一,什么是spark定义:Spark一种基于内存的快速,通用,可扩展的大数据分析引擎.官网地址:http:spark.apache.org历史:2009年诞生于加州伯 ... [详细]
  • 一、四种存储格式介绍1、TestFileTextFile文件不支持块压缩,默认格式,数据不做压缩,磁盘开销大,数据解析开销 ... [详细]
author-avatar
mobiledu2502853623
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有